Các sắc phong còn lưu lại đã cho biết khá rõ những thông tin về lịch sử ngôi chùa, cũng như người được thờ là Đại Thánh Pháp Lôi Phật (Ngài vừa là Thánh vừa là Phật). Trong đó, sắc phong có niên đại cổ nhất Cảnh Hưng tứ niên tam nguyệt nhị thập thất nhật (tức ngày 27 tháng 3 âm lịch năm 1743) có nội dung[2]:

Trong Truyền thuyết Phật mẫu Man Nương thì cây dung cổ thụ linh thiêng bị mưa bão cuốn theo sông Dâu về Luy Lâu, dân chúng vớt lên tạc được 4 pho tượng Phật, tạc đến pho thứ 3 thì sấm nổ vang trời nên đặt tên cho tượng là Pháp Lôi. Tượng Pháp Lôi được rước về làng Tướng (làng Thanh Tương) dựng chùa Phi Tướng để cung phụng, các tượng Tứ Pháp từ đó hết mực linh thiêng phù hộ cho các cư dân nông nghiệp ở Việt Nam thời đó được mưa thuận gió hòa, sự linh thiêng này vang đến cả Vua nhà Tấn bên phương bắc cũng như vua Nhà Tống sau này chứ không riêng gì vùng Giao chỉ khi đó.

Tượng Phật Pháp Lôi được thờ ở thượng điện chùa. Pho tượng được công nhận là bảo vật quốc gia số 10, đợt 6 (năm 2017) cùng ba pho tượng còn lại trong bộ Tứ Pháp ở chùa Dâu và chùa Dàn. Tượng Phật tạc trong tư thế ngồi thiền trên toà sen trong khám gỗ lớn chạm rồng, sơn son thếp vàng, thân cao 1,45m, vai rộng 0,55m, đùi rộng 1,05m. Đài sen cao 0,25m với 3 lớp cánh to mập. Tượng có thân hình nữ tính, khuôn mặt đầy đặn, thánh thiện với mũi dọc dừa, lông mày lá liễu, đôi mắt nhìn xuống bao dung, miệng mỉm cười, tay phải giơ lên ngang ngực, ngón tay kết ấn, tay phải để ngửa trên đùi có hạt ngọc “minh châu”; toàn thân được sơn phủ một lớp sơn màu mận chín, biểu tượng của một bầu trời đủ mây mưa sấm chớp.

Vì tượng tạc hình nữ tính và theo truyền thuyết cây dung (lấy gỗ tạc tượng) chứa con gái Man Nương nên tượng Pháp Lôi được gọi là Bà Tướng, cùng với Bà Dâu (chùa Dâu), Bà Đậu (chùa Đậu), Bà Dàn (chùa Dàn). Lễ hội vùng Dâu (Hội Dâu) luôn phải có nghi lễ rước đủ tượng bốn Bà về chùa Dâu[8].